import openai
from openai import OpenAI
"""
CUDA_VISIBLE_DEVICES=0 swift deploy --model_type qwen1half-0_5b --model_id_or_path /root/autodl-tmp/qwen/Qwen1___5-0___5B   --ckpt_dir /root/autodl-tmp/output/qwen1half-0_5b/v3-20240625-170329/checkpoint-18   --host 0.0.0.0 --port 8999
"""
 
model ='qwen1half-0_5b'
# create a chat completion
client = OpenAI(
    api_key="EMPTY",
    base_url= "http://127.0.0.1:8999/v1/",
)

# completion = client.completions.create(model='curie')
# print(completion.choices[0].text)
# print(dict(completion).get('usage'))
# print(completion.model_dump_json(indent=2))
def generate_text(prompt):
    response = client.completions.create(
        model=model,  # 选择GPT-3的某个引擎，这里是文本完成任务的最先进版本
        prompt=prompt,  # 你给GPT-3的提示或问题
        max_tokens=150,  # 生成文本的最大长度（token数）
        n=1,  # 生成的回应数量
        
        temperature=0.3,  # 创造性，0.0-1.0之间，越高越随机
        top_p=1,  # 采样参数，与temperature配合使用
        frequency_penalty=0,  # [-2, 2]之间，控制词频，正值减少重复，负值允许更多重复
        presence_penalty=0,  # [-2, 2]之间，控制新词的出现概率，正值鼓励新话题，负值偏好已有主题
    )
    
    return response.choices[0].text.strip()  # 返回生成的文本

prompt = "你是谁"
print(generate_text(prompt))